home *** CD-ROM | disk | FTP | other *** search
/ Danny Amor's Online Library / Danny Amor's Online Library - Volume 1.iso / bbs / society / society.lha / PUB / isoc_news / 1-3 / n-1-3-015.20.1a < prev    next >
Text File  |  1995-07-21  |  10KB  |  188 lines
  1.  
  2.  
  3. N-1-3-015.20.1, Australia by Geoff Huston*, <G.Huston@aarnet.edu.au>
  4.  
  5.  
  6. This article examines the structures employed within Australia to
  7. manage the national connection to the Internet.  The Australian
  8. Academic and Research Network (AARNet) is connected to the Internet
  9. via a satellite link which connects into the U.S. Federal Agency
  10. Internet infrastructure.  Since the original 64Kbps link was installed
  11. in July 1989 the link capacity has been upgraded in response to acute
  12. congestion three times - to 128Kbps in November 1990, to 256Kbps in
  13. May 1991 and 512Kbps in February 1992.
  14.  
  15. The response to this increasing traffic profile has been the adoption
  16. of a number of measures within the Australian network intended to
  17. localise as much of this traffic as possible.  The actions adopted by
  18. AARNet in this area may be useful pointers to other sectors of the
  19. Internet in a similar position of having Internet connectivity
  20. implemented via a long skinny pipe.
  21.  
  22. The first of these areas is configuration of the DNS within AARNet.  To
  23. assist in reducing the DNS traffic levels across the link, a system has
  24. been installed to act as a national DNS as a network supported
  25. resource.  This caching forwarder is configured into all relevant DNS
  26. configurations within AARNet, with the intention of localising DNS
  27. queries into a large cache.  A fake root nameserver is also configured
  28. onto this system, so that the DNS domain will not fatally collapse in
  29. the event of extended outages of the single international link.  DNS
  30. traffic on the link has been reduced from 10% to some 4% of total
  31. traffic levels, largely as a result of the deployment of this
  32. forwarder.
  33.  
  34. The second area is that of management of the usenet news flow.  With
  35. current news volumes now reaching some 30 Mbytes per day, it is not
  36. reasonable to support a number of concurrent news streams across a
  37. single physical link.  A single comprehensive news flow is fed to a
  38. single Australian site, which is redistributed to regional
  39. redistribution points along logical links which correspond to the
  40. physical infrastructure of the network.  Using low delay NNTP sessions
  41. and a dedicated NNTP flow director, news reaches all Australian AARNet
  42. sites generally within some 15 minutes after reaching the major U.S.
  43. usenet backbone sites.  The benefits of such structuring are not only
  44. the rationalisation of the use of the international link, but also
  45. improved performance of the service to the user population.
  46.  
  47. The third area is that of file transfer using the FTP (File Transfer
  48. Protocol) utility.  If file transfer was a small contributor to the
  49. total volume of traffic on this link, then provision of adequate
  50. international communications capabilities would not be a major
  51. engineering issue.  However, in examining the current traffic profile
  52. across this international link the major component of incoming traffic
  53. is associated with the FTP application - some 65% of the bytes
  54. transferred every month (some 23 Gigabytes in February 1992) is FTP
  55. traffic.  This traffic has been growing at a much faster rate than any
  56. of the other network applications.  Engineering solutions for such
  57. explosive growth is difficult, partly due to the problems in
  58. estimating the extent and duration of the growth, and partly due to
  59. planning for adequate resource provision to support the potential
  60. demand.
  61.  
  62. The response by AARNet has been to install a single major archive
  63. server at the major hub of the Australian network to service the
  64. information retrieval requirements of the AARNet community.  The goals
  65. of the exercise are to reduce the volume of duplicate file transfer
  66. requests to international locations, and to improve the on-line
  67. information services currently available within AARNet.
  68.  
  69. There are several specific issues that are addressed by this archive
  70. service:
  71.  
  72.    a) Location of Information Resources.  Users may be aware that some
  73.       information they require, be it data, programs or documents, is 
  74.       on-line but do not know the name and/or network address of the 
  75.       computer system(s) upon which it is located - a typical approach
  76.       is to adopt a scattergun method in attempting to locate the 
  77.       resource within the major archive sites.
  78.  
  79.       In many cases, copies of offshore information resources are 
  80.       maintained within Australia, but users are unaware of them and
  81.       continue to transfer data from sites in the USA, Europe and the 
  82.       rest of the world.  This problem is further complicated by the 
  83.       fact that local (Australian) copies of information resources 
  84.       are sometimes out of date, and similarly difficult to locate;
  85.  
  86.    b) Poor Directory Tools.  The existing tools for addressing the
  87.       identification and location problems are crude, unwieldy and 
  88.       inefficient.  Users are therefore not prepared to spend the 
  89.       time and effort to find the "closest" or "most network
  90.       efficient" location of information;
  91.  
  92.    c) Announcements.  New versions of software, technical reports, 
  93.       new data sets, etc., are frequently announced to the network 
  94.       user community via electronic mailing lists and network news 
  95.       bulletins.  These postings generally only cite the original 
  96.       source location of the item, and therefore generate a rush of
  97.       identical requests to the same, usually international
  98.       location, from the users that read them.  Ideally, one copy 
  99.       should be brought to Australia and then made available to the 
  100.       rest of AARNet community nationally;
  101.  
  102.    d) Poor Access Tools.  The standard method of information transfer
  103.       is based on FTP and the "anonymous" user concept.  FTP itself, 
  104.       and the "anonymous" guest account mechanism, are not ideal end 
  105.       user interfaces for the distribution of information.  They are 
  106.       however, widely supported and available on all hardware and 
  107.       software platforms;
  108.  
  109.    e) Poor Performance.  Because some sources of on-line information 
  110.       are poorly connected to the network, or very remote from 
  111.       Australia (e.g., Finland), and/or are hosted on systems that 
  112.       are not dedicated to providing on-line information (i.e., are 
  113.       general purpose computing systems) some users are discouraged 
  114.       from making use of the information services available to them 
  115.       by the poor performance of the transfer, and the typical
  116.       response is to abort a slow transfer session and retry, adding 
  117.       to the overall traffic volumes due to successive retransmissions.
  118.  
  119. AARNet has installed a 5 Gigabyte fileserver within the network to
  120. address these issues.  This system supports a number of functions
  121. including the mirroring of major Internet archive sites in order to
  122. provide a high performance local resource with authoritative copies of
  123. the original data source, an Archie service (by arrangement with
  124. McGill University) to enable named searches on both the local archive
  125. and also the larger Internet-wide Archie database, the Prospero
  126. filesystem, in order to provide transparent access to FTP servers not
  127. mirrored locally, and a number of Wide Area Information Server (WAIS)
  128. databases.  Further activity within the broad area of distributed wide
  129. area filesystems (such as AFS and Alex) is anticipated to lead to this
  130. archive service publishing its resources by other methods as well as
  131. the current FTP, Archie and finger access methods.
  132.  
  133. As well as providing a positive impact on the growth trends of FTP
  134. traffic across the international link, it is noted that there are also
  135. significant service roles being performed by this archive service.
  136. These include the provision of a single major authoritative source for
  137. Internet resources for Australian users, improved performance in
  138. resource access, and consistency of the access mechanisms.
  139.  
  140. While such a service could in theory be provided by any member of the
  141. network, there is no obligation on the part of individual AARNet
  142. members to continue to provide the archive services they currently
  143. support, or to archive information of interest to the AARNet community
  144. at large as a production service.  It must be recognised that such
  145. typically peer service/client relationships, while very useful in
  146. establishing the feasibility and potential demand for service within a
  147. short timeframe, can run into viability problems when the level of
  148. demand swamps the level of volunteer support.  Given the important
  149. roles that the AARNet archive server undertakes, it is supported
  150. within a production role, as part of the network infrastructure.
  151.  
  152. When compared to the high recurrent costs in supporting the link from
  153. Australia to the United States, the relatively small costs of
  154. establishing and maintaining this service are seen as a highly
  155. leveraged investment in providing high performance access to Internet
  156. resources for the Australian community.
  157.  
  158. The system is now online to the Internet as "archie.au".
  159.  
  160. The final area is that of management of mailing lists.  Here users are
  161. gently encouraged to subscribe to the most popular Internet mailers
  162. via subscribing to local exploders maintained within the country.  At
  163. this point there has been only minor activity in attempting to provide
  164. a robust and general mechanism for supporting automated local mail
  165. list exploders.  With total mail volumes currently being recorded at a
  166. level of some 8% of total traffic levels there does not appear to be
  167. an adequate rationale for attempted reduction of mail traffic levels
  168. through attempting to reduce the number of duplicate incoming mailing
  169. list postings as yet.
  170.  
  171. In summary, it is noted that the engineering requirements of
  172. interacting with the Internet are somewhat different when a highly
  173. active network is located at the far end of a long skinny pipe, as
  174. distinct from being located within a rich mesh.  As new applications
  175. are deployed across the Internet, there is a continuing commitment
  176. from the Australian network provider, AARNet, to examine the
  177. feasibility of engineering local redistribution mechanisms which can
  178. improve both the cost-effectiveness of the international link itself
  179. and improve the levels of performance of the services accessed by the
  180. local user population.  In this way the AARNet, as a network provider,
  181. is not just undertaking the role of provision of connectivity and
  182. bandwidth, but investing resources in an active role in enhancing the
  183. quality, reliability, and performance of the services provided to
  184. users.
  185.  
  186.  
  187. *Manager, Australian Academic and Research Network
  188.